James Allison sinh ngày 7 tháng 8 năm 1948 tại Alice, Texas, là con út trong số ba người con trai của Constance Kalula (Lynn) và Albert Murphy Allison.] Ông được truyền cảm hứng từ giáo viên toán lớp 8 của mình để theo đuổi sự nghiệp khoa học.[9] Allison kiếm được B.S. trong vi sinh học từ Đại học Texas, Austin năm 1969, nơi ông là một thành viên của Delta Kappa Epsilon fraternity. Ông đã giành được bằng tiến sĩ trong khoa học sinh học vào năm 1973, cũng từ UT Austin, là sinh viên của G. Barrie Kitto.